selenium教程(小白怎么一步步学习Python3爬虫)
资讯
2023-11-23
439
1. selenium教程,小白怎么一步步学习Python3爬虫?
爬虫无非就是获取网页,解析网页的过程,下面我简单介绍一下学习python3爬虫的过程,以windows为例,主要内容如下:
1.首先,掌握基本的网页前端知识,包括html,css,js等。我们爬取的大部分数据都嵌套在网页中,了解基本的网页知识是爬虫的前提,如果你对网页知识还不了解的话,建议花个几天时间了解一下,没必要精通,大概能看懂就行,这里入门的话,直接看w3cschool就行,如下:
2.搭建本地python开发环境,这里直接到python官网下载python就行,下载完成后,直接双击安装就行:
3.掌握python基础知识,包括基本的元组、列表、字典、函数、类、文件处理等,这里直接看廖雪峰的python3教程就行,如下:
4.入门爬虫的话,可以先从最基本的urllib,requests,bs4,lxml等几个包开始,这几个包简单易学,对于初学者来说,是一个很不错的入门选择:
4.掌握基本爬虫后,这里就可以学习爬虫框架—scarpy,可以避免重复造轮子,提高效率:
5.数据爬取下来后,就需要存储,后期就可能需要学习数据库等知识,像mysql,mongodb等,这个就需要自己慢慢学习了:
目前就先分享这么多吧,后期爬虫项目大的话,可能还需要分布式、多线程等,这个就需要自己钻研了,网上也有相关教程和资料,感兴趣的可以搜一下,希望以上分享的内容能对你有所帮助吧。
2. 程序员是如何下载视频的?
you-get呗,一个Python的下载工具,可以免费下载互联网上的视频文件,包括B站、优酷、美拍等,下面我简单介绍一下这个工具的安装和使用,以Python3.6(其他版本也可以)为例:
1.首先,安装you-get,这个直接在cmd窗口输入命令“pip install you-get”就行,如下,非常快:
2.安装成功后,我们就可以直接在cmd中用命令行下载视频了,基本使用方法—“you-get 视频地址”,非常方便,如下,这里以下载B站上的视频为例:
3.这里你也可以查看网站提供的视频格式,包括超清、高清、标清等,只要用参数i指定就行,如下,这里以优酷上的视频为例:
如果需要下载对应格式视频的话,直接使用format参数指定就行,如下:
4.当然,你也可以在线播放视频,只需要用参数p指定本地播放器路径就行,如下,这里以腾讯视频为例:
5.更多参数和功能的话,你可以通过命令“you-get -h”进行查看,非常方便,解释也很详细,如下:
至此,我们就简单介绍完了Python you-get下载工具的安装和使用。总的来说,这个工具使用起来非常方便,也很简单,只要你熟悉一下操作,很快就能掌握的,当然,除了视频外,也可以下载音频、图片等,使用方式是一样的,也是“you-get 音频/图片地址”,网上也有相关资料和教程,非常详细,感兴趣的话,可以搜一下,希望以上分享的内容能对你有所帮助吧,也欢迎大家评论、留言。
3. 有什么方法可以快速学习python和自动化的技巧?
Python使用非常广泛,尤其是在AI开发领域,网上的学习资源和技术论坛非常多,如果有比较好的自律和学习能力,制定一个切实可行的学习计划,坚持总结积累,很快就能形成自己的知识库。
一,在线编程网站推荐一个在线编程网站,HackerRank,看名字就知道很牛,Hacker排行榜。网站提供了很多不能难度不同水平的编程练习题,可以查询成绩、排名、参加竞赛,积累到一定分数后可以获得Python勋章。并且可以邀请同学朋友一起组队练习,增加学习动力。
1,注册账号,登录,选择要学习的Python编程语言
2,选择题目
根据自己制定的学习计划和进度,筛选不同的难度,选择不同功能类别,有针对性的练习提高。
3,编写代码
阅读题目要求,参考题目指南和讨论区帖子,在代码编辑器里开发代码。完成代码后点击下方”Run Code“按钮运行,查看结果,修复错误。
4,提交代码,通过单元测试后获得分数
提交代码时,将自动运行多个单元测试,根据通过率得到评分。
5,积累到一定分数后,获得Python勋章
二,参加开源项目Github上面有很多基于Python开发的开源项目,尝试参加自己擅长或者喜欢的项目。
1. 选择有兴趣的项目,仔细阅读文档和代码,查看历史提交记录,这个过程本身也能学到很多知识
2. 阅读代码,重点理解怎么写?为什么这样写?有没有更好的写法?
3. 按照开源社区的代码标准,开发提交代码,完成单元测试
我是工作多年的Web应用架构师,陆续发布关于软件开发方面的文章,欢迎关注我,了解更多IT专业知识。
4. 想学python网络爬虫?
学习Python爬虫首先要具备一些必备知识,
Python
html
正则表达式
Python是我们用于爬虫的工具,结合requests、BeautifulSoup等第三方工具包可以实现程序的开发。而html是我们要爬的目标,需要了解其中标签的含义。另外,在爬虫过程中需要很多字段和标签的匹配,这会经常用到正则表达式。
当然,一个成熟的爬虫需要的技能远不止这些技能。下面我就以最简单的思路,逐步介绍一下如何开始爬虫,保证一文看完就能明白。
前言就如同标题指明的那样,本文主要针对入门,如果寻求进阶,或者在爬虫方面走的更远,本文提供的帮助是微乎其微的,本文的主要目的就是用简单的方式、简单的语言帮助对网页爬虫感兴趣的同学。目前网上有关网页爬虫的指导有很多,但是套路却是千篇一律,基本都是围绕以下内容进行展开,CSS/html等网页知识requests或urllibBeautifulSoup或正则表达式Selenium或者Scrapy对于我来说,学习爬虫知识一项获取数据的工具,而不是工作的主要内容,因此,没有太多的时间花费在上述知识成体系的学习上面。上述提到的每块都涉及大量的知识,一段时间的学习之后容易让人陷入"云里雾里",然后就丧失了学习的兴趣,没有全局观、没有重点,最终使得学习效率非常低下。本文不详细的讲解什么是CSS/html,怎么用requests或者urllib,本文主要目的是介绍怎么去爬取一个网站、爬取我们需要的资源,可能会用到上述一个或几个模块里的知识,对我们用到的功能了解即可,没有必要从头至尾的学习一遍,希望能够用这种方法让对爬虫感兴趣的同学对这项技术有一个统筹的认识,能够满足日常获取数据的需求,如果想要在这项技术上深入研究,可以后续学习其他成体系的课程,对上述模块认真、详细的学习。准备工作很多网页爬虫的教程中使用或者提及到很多工具,本文选择以下几项工具,网页浏览器(Google Chrome)BeautifulSoup4requests网页浏览器主要用于查看网页html源码和检查网页单元使用,浏览器有很多,谷歌、火狐、IE等,每个人的喜好不同,可以根据自己的日常习惯进行选择,本文以Google Chrome为例进行讲解。BeautifulSoup4是一个HTML、XML的解析器,它能够轻而易举的解析web网页,从中获取我们想要的单元和信息,能够避免筛选信息时的麻烦,它能够提供用于迭代、搜索、修改解析树的用法。在网页匹配过程中BeautifulSoup的速度并不比正则表达式快,甚至还要慢一些,但是它最大的优势就是简单、便捷,因此是很多网页爬虫工程中的必选工具之一。安装$ pip install beautifulsoup4requests是Python大神Kenneth Reitz的力作,是一个用于网络请求的第三方库,Python已经内容了urllib模块用于访问网络资源,但是使用起来相对麻烦,而requests相比之下要方便快捷很多,因此本文选择用requests进行网络请求。安装$ pip install requests动手实践很多教程选择爬取糗事百科、网页图片,本文就选取另外一个方向,爬取我们常用的百度百科,这样更加直观、易于理解。经常浏览网页,注意细节或者善于总结的会发现,网址主要有两部分组成,基础部分,和对应词条的后缀,例如上述百科词条,由基础部分https://baike.baidu.com组成,后缀是item/林志玲/172898?fr=aladdin,因此我们要爬取一个网站首先要获取一个网址。第一步,要确定一个目标,你要爬取什么数据?很多人会认为,这不是废话吗?我个人认为这是很重要的,有目的才会效率更好,在没有某种目标驱动的情况下,就很难带着问题和压力去做一件事情,这样会变得漫无目的,导致效率很低,因此,我认为最重要的是首先要清楚想爬取什么数据?网页上的音乐图片素材...本文就以爬取百度百科词条内部链接和下载图片为目标进行讲解。第二步,我们要获取一个基础的网址,百度百科的基础网址,https://baike.baidu.com/第三步,打开首页,以林志玲的百度词条为首页开始爬取。第四步,查看源码,很多人都知道查看源码的快捷键是F12,不管是谷歌浏览器还是IE浏览器,都是这样,但是当按下F12之后会不由得疑问,"这是什么东西?",令人毫无头绪。当然,可以一步一步的去了解源码,学习html的知识,然后用正则表达式去一步一步、一个单元一个单元的匹配我们想要的信息,但是这样未免太复杂了,我个人推荐使用检查工具。爬取内部链接指向我们想要了解的元素,素,鼠标右键->检查,能够快速定位我们关注的元素。我觉得到这一步就已经够了,最简单的网页爬虫就是反复的重复以下两个步骤:检查定位我们想要的元素和属性BeautifulSoup4匹配我们要的信息通过检查功能可以看到,百科词条内部链接部分的源码是这样的,元素1:<a target="_blank" href="/item/%E5%87%AF%E6%B8%A5%E6%A8%A1%E7%89%B9%E7%BB%8F%E7%BA%AA%E5%85%AC%E5%8F%B8/5666862" data-lemmaid="5666862">凯渥模特经纪公司</a>元素2:<a target="_blank" href="/item/%E5%86%B3%E6%88%98%E5%88%B9%E9%A9%AC%E9%95%87/1542991" data-lemmaid="1542991">决战刹马镇</a>元素3:<a target="_blank" href="/item/%E6%9C%88%E4%B9%8B%E6%81%8B%E4%BA%BA/10485259" data-lemmaid="10485259">月之恋人</a>元素4:<a target="_blank" href="/item/AKIRA/23276012" data-lemmaid="23276012">AKIRA</a>从上述4个元素可以看出,我们想要的信息词条内部链接在标签<a></a>中,标签中有以下几个属性:target:这个属性贵姓在何处打开链接文档,_blank标明浏览器总在一个新标签页载入目标文档,也就是链接href指向的文档。href:前面已经提过很多次,属性href用于指定超链接目标的链接,如果用户选中了标签<a></a>中的内容,则会尝试打开并显示href指定链接的文档。data-*:这是html的新特性可以存储用户自定义的属性。可以看出,我们想要的信息就在href中,也就是词条的内部链接。因此,我们爬虫的目标就很明确了,就是解析出href超链接。到这里,浏览器检查功能已经发挥了它的作用,下一步问题就变成了我们怎么解析出标签中href的链接?这时,BeautifulSoup4就派上用场了。用BeautifulSoup4解析我们从网页上抓取的html,soup = BeautifulSoup(response.text, 'html.parser')看到这里也许会疑惑,html.parser是什么?这是一种html的解析器,Python中提供几种html解析器,它们的主要特点分别是,综合来说,我们选取html.parser解析器,选取好解析器之后就开始着手匹配我们想要的元素,可是看一下html发现,网页中有很多<a></a>标签,我们该匹配哪一类呢?<a target="_blank" href="/item/AKIRA/23276012" data-lemmaid="23276012">AKIRA</a>仔细看一下会发现特点,target="_blank",属性href以/item开头的,于是就有了我们的匹配条件,{"target": "_blank", "href": re.compile("/item/(%.{2})+$")}用这样的匹配条件去匹配符合target、href要求的标签<a></a>,sub_urls = soup.find_all("a", {"target": "_blank", "href": re.compile("/item/(%.{2})+$")})完整代码为,def main(): url = BASE_URL + START_PAGE response = sessions.post(url) response.encoding = response.apparent_encoding soup = BeautifulSoup(response.text, 'html.parser') sub_urls = soup.find_all("a", {"target": "_blank", "href": re.compile("/item/(%.{2})+$")}) for sub_url in sub_urls: print(sub_url)输出结果为,<a href="/item/%E5%B9%B8%E7%A6%8F%E9%A2%9D%E5%BA%A6" target="_blank">幸福额度</a><a href="/item/%E5%8C%97%E4%BA%AC%C2%B7%E7%BA%BD%E7%BA%A6" target="_blank">北京·纽约</a><a href="/item/%E5%A4%9A%E4%BC%A6%E5%A4%9A%E5%A4%A7%E5%AD%A6" target="_blank">多伦多大学</a><a href="/item/%E5%88%BA%E9%99%B5" target="_blank">刺陵</a><a href="/item/%E5%86%B3%E6%88%98%E5%88%B9%E9%A9%AC%E9%95%87" target="_blank">决战刹马镇</a><a href="/item/%E5%8C%97%E4%BA%AC%C2%B7%E7%BA%BD%E7%BA%A6" target="_blank">北京·纽约</a><a href="/item/%E5%BC%A0%E5%9B%BD%E8%8D%A3" target="_blank">张国荣</a><a href="/item/%E5%A5%A5%E9%BB%9B%E4%B8%BD%C2%B7%E8%B5%AB%E6%9C%AC" target="_blank">奥黛丽·赫本</a><a href="/item/%E6%9E%97%E5%81%A5%E5%AF%B0" target="_blank">林健寰</a><a href="/item/%E6%96%AF%E7%89%B9%E7%BD%97%E6%81%A9%E4%B8%AD%E5%AD%A6" target="_blank">斯特罗恩中学</a><a href="/item/%E5%A4%9A%E4%BC%A6%E5%A4%9A%E5%A4%A7%E5%AD%A6" target="_blank">多伦多大学</a><a href="/item/%E5%8D%8E%E5%86%88%E8%89%BA%E6%A0%A1" target="_blank">华冈艺校</a><a href="/item/%E5%94%90%E5%AE%89%E9%BA%92" target="_blank">唐安麒</a><a href="/item/%E6%97%A5%E6%9C%AC%E5%86%8D%E5%8F%91%E7%8E%B0" target="_blank">日本再发现</a><a href="/item/%E4%BA%9A%E5%A4%AA%E5%BD%B1%E5%B1%95" target="_blank">亚太影展</a><a href="/item/%E6%A2%81%E6%9C%9D%E4%BC%9F" target="_blank">梁朝伟</a><a href="/item/%E9%87%91%E5%9F%8E%E6%AD%A6" target="_blank">金城武</a>......在用属性字段sub_url["href"]过滤一下即可,/item/%E5%B9%B8%E7%A6%8F%E9%A2%9D%E5%BA%A6/item/%E5%8C%97%E4%BA%AC%C2%B7%E7%BA%BD%E7%BA%A6/item/%E5%A4%9A%E4%BC%A6%E5%A4%9A%E5%A4%A7%E5%AD%A6/item/%E5%88%BA%E9%99%B5/item/%E5%86%B3%E6%88%98%E5%88%B9%E9%A9%AC%E9%95%87/item/%E5%8C%97%E4%BA%AC%C2%B7%E7%BA%BD%E7%BA%A6/item/%E5%BC%A0%E5%9B%BD%E8%8D%A3......就得到了词条内部链接的后缀部分,然后和基础的url拼接在一起就是完整的内部链接地址。同理,用同样的方法也可以爬取其他内容,比如糗事百科的笑话、专业网站的素材、百度百科的词条,当然,有些文本信息比较杂乱,这个过程中需要一些信息的筛选过程,例如利用正则表达式来匹配一段文本中有价值的信息,方法与上述大同小异。下载图片和爬取内部链接一样,要善于利用浏览器的检查功能,检查一下词条内部图片的链接,<img class="picture" alt="活动照" src="https://gss2.bdstatic.com/-fo3dSag_xI4khGkpoWK1HF6hhy/baike/s%3D220/sign=85844ee8de0735fa95f049bbae500f9f/dbb44aed2e738bd49d805ec2ab8b87d6267ff9a4.jpg" style="width:198px;height:220px;">发现,图片链接存放在<img></img>标签内部,用上述方法可以匹配到图片的完整链接,url = BASE_URL + START_PAGE response = sessions.post(url) response.encoding = response.apparent_encoding soup = BeautifulSoup(response.text, "html.parser") image_urls = soup.find_all("img", {"class": "picture"}) for image_url in image_urls: print(image_url["src"])输出如下,https://gss2.bdstatic.com/9fo3dSag_xI4khGkpoWK1HF6hhy/baike/s%3D220/sign=36dbb0f7e1f81a4c2232ebcbe7286029/a2cc7cd98d1001e903e9168cb20e7bec55e7975f.jpg https://gss2.bdstatic.com/-fo3dSag_xI4khGkpoWK1HF6hhy/baike/s%3D220/sign=85844ee8de0735fa95f049bbae500f9f/dbb44aed2e738bd49d805ec2ab8b87d6267ff9a4.jpg ...然后用requests发送请求,获取图片的数据,然后以读写文件的方式存储到本地,for image_url in image_urls: url = image_url["src"] response = requests.get(url, headers=headers) with open(url[-10:], 'wb') as f: f.write(response.content)除了requests之外,还可以使用urllib.request.urlretrieve下载图片,urlretrieve相对要方便一些,但是对于大文件,requests可以分段读写,更具有优势。
上述介绍的方法是比较简单的一种,如果精力有限也可以尝试一下Selenium或者Scrapy,这两款工具的确非常强大,尤其是Selenium,它本是一款自动化测试工具,但是后来发现它同样可以用于网页爬虫,让浏览器帮助你自动爬取数据的工具,它可以以用户访问网页类似的行为去浏览网页并抓取数据,非常高效,感兴趣的可以尝试一下。
5. 近几年热火的Python语言?
Python可以做什么呢,以下是一名多年程序员的见解:
1、Python,叫爬虫大家可能更熟悉,可以爬取数据,这么说吧,只要能通过浏览器获取的数据都能通过Python爬虫获取,比如 爬图片、爬视频。本人上传了关于爬虫的案例教程,看到了吗:
2、Python爬虫的本质其实就是模拟浏览器打开html网页,然后获取相关的数据信息。你了解网页打开的过程吗:当在浏览器中输入网址后——DNS会进行主机解析——发送请求——数据解析后回应给用户浏览器结果,这些结果的呈现形式是html代码,而Python爬虫就可以通过过滤分析这些代码从而得到我们要的资源;
3、Python爬虫的另一个强大功能是制作批处理脚本或者程序,能自动循环执行目标程序,实现自动下载、自动存储图片、音视频和数据库的数据。
6. 神级程序员都在用什么工具?
摘要:在我认识的所有程序员里,每个人几乎都有专属于自己的常用工具和相关资源,今天给大家奉上数十个程序员硬核工具,我相信这里总有一款工具是属于你的!
程序员生产力工具大全如下:
1. Idea-Intellij IDEA (java 编程语言 开发的集成环境)
业界排名第一的java开发工具,非常非常好用,如果还在用eclipse的朋友,赶紧来体验一把,你一定会爱上她的。
2. SecureCRT (SSH终端仿真程序)
SecureCRT是一款终端仿真程序,支持SSH(SSH1和SSH2)以及Telnet和rlogin协议。SecureCRT用于连接运行包括Windows、UNIX和VMS在内的远程系统的理想工具。
3. Termius (全平台的远程终端)
termius是一款全平台的远程终端,Termius不仅涵盖了Windows、Linux、OSX,还变态得支持Android和iOS(以后在地铁、公交上都可以随时拿出手机来排查线上问题啦,还真是广大程序员的福音呢。
4. Google Chrome (谷歌浏览器)
Google Chrome是一款由Google公司开发的网页浏览器,该浏览器基于其他开源软件撰写,包括WebKit,目标是提升稳定性、速度和安全性,并创造出简单且有效率的使用者界面。
5. iTerm (为Mac OS X编写的终端仿真程序)
iTerm是一个为Mac OS X编写的,功能齐全的终端仿真程序;目标是在为用户提供OS X下最佳的命令行体验;字母i代表了本地苹果的外观和风格的程序界面,并把重点放在完整的国际支持; 它合并由两个项目, CTerminal和TerminalX ,而这两者都是基于JTerminal项目;该软件非常有实用和易用性。
6. Visual Studio Code (简称“VS Code”,编写现代Web和云应用的跨平台源代码编辑器)
重新定义和优化了代码编辑,以便生成和调试新式 Web 应用程序和云应用程序。也是著名的文本编辑器,它是轻量级的,vSCode的一大特点就是你可以通过多种方式来调整设置,而且Vim可以和VScode集成在一起,它还带有一个集成终端,可用的扩展太多,使开发人员的工作变得更加轻松。我最喜欢的一些扩展是AWS Toolkit, ESLint,Live Server, Live Share, Prettier-代码格式化程序,YAML,Live Sass编译器,Docker等。
7. VMware Fusion & VMware workstation (为计算机开发的虚拟机管理程序)
是在计算机上无缝运行 Windows 的最佳方式,可确保 Windows 应用程序在计算机上实现无缝运行可以在基于 Intel 的计算机上无缝运行 Windows、Linux 以及其他 PC等多个操作系统,进而构建、测试或演示软件。
8. Navicat Premium (数据库管理工具)
Navicat premium是一款数据库管理工具,是一个可多重连线资料库的管理工具,它可以让你以单一程式同时连线到 MySQL、SQLite、Oracle 及 PostgreSQL 资料库,让管理不同类型的资料库更加的方便。
9. Postman (api调试工具)
简单来说,四个词,简单、实用、大方、美观!postman这款网页调试工具的windows客户端,功能强大的HTTP调试与模拟插件。使用Postman可以进行API开发、请求、调试,除了它,还可以使用lnsomnia和Insomnia Designer作为API文档。
10. RedisDesktopManager (一款可视化 redis管理工具 )
Redis Desktop Manager是一款简单快速、跨平台的Redis桌面管理工具,也被称作Redis可视化工具,Redis Desktop Manager官方版是一款开源软件,支持通过SSH Tunnel连接,支持windows、mac等多平台。
11. Dash (基于MAC的 API文档浏览器和代码片段管理器)
“开发者不可或缺的杰作。”Dash 可让您的 Mac 即时离线访问 200 多个 API 文档集。立刻搜索离线文件集200层+的API ,100+备忘单和 href="">更多 功能。您甚至可以"">生成自己的文档集 或 href="">请求 包含href="">文档集 。
12. Fiddler & Wireshark (http抓包工具)
Fiddler和Wireshark都是进行抓包的工具:所谓抓包就是将网络传输发送与接收的数据包进行截获、重发、编辑、转存等操作,也用来检查网络安全。作为开发者,经常想调试一下http请求发送的数据的详情,那么可以使用这2款软件。用抓包工具wireshark的人相对来说更多一些。
13. HBuilder X (HTML5的Web开发工具)
当前最快的HTML开发工具,强大的代码助手帮你快速完成开发,最全的语法库和浏览器兼容性数据让浏览器碎片化不再头痛。作为HBuilder下一代的全新编辑器,HBuilderX被定位为ide和编辑器的完美结合,除了对某种语言的语法分析、提示、转到定义、调试,同时加强了对通用文本处理能力,界面更加清爽,拥有比上一代更加有效的快捷键体系。
14. MobaXterm (远程终端控制软件,集串口,SSH远程登录和FTP传输三合一的工具)
多功能终端MobaXterm Professional Edition 是一款豪华、全功能的终端软件。MobaXterm带来了所有必要的Unix命令到Windows桌面,在开箱单便携式exe文件。MobaXterm允许您启动远程会话。远程shell,MobaXterm远比Putty好用,您可以选择创建SSH,远程登录,Rlogin,RDP,VNC,XDMCP,FTP,SFTP或串行会话。
15. Sublime Text (跨平台代码编辑器)
http://www.sublimetext.cn/
Sublime Text 是一款用于代码、标记和散文的精致文本编辑器。Sublime Text 中文网致力于为广大国内开发者提供详尽的中文文档、使用说明等,助力开发者快速掌握这个编辑器。
16.webstorm (专业的HTML编辑工具)
web开发的必备的一款开发神器,比如写js、页面、css,那么这款软件用起来非常顺手。此软件和idea出自于同一家公司,这家公司做了很多异常好用的软件,基本上你需要的各种开发相关的IDE,这家公司都生产。可以说是“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”。新版对JavaScript,TypeScript和CSS支持更好,改进了Vue.js的体验,并为Jest集成增加了新功能。
17.Xshell (功能强大的终端模拟器)
linux原创控制软件,完全免费且非常稳定的 SSH 客户端 ,支持多种远程协议,提供了很多特色与高级功能,简体中文界面也让你轻松管理远程服务器。 Xshell 的 Screen 会话不闪屏,而且可以回滚;Script 的执行顺序可以调整;可以同时发送指令到多个 session;支持布局切换等。
18. SwitchHosts (修改Hosts文件的工具)
这是用于在多个HOSTS之间进行切换。可在公用hosts文件 、当前系统hosts、本地方案和在线方案间进行切换。作为一名开发人员,经常需要修改本地host,你还是通过修改host文件来操作的么?那样太慢了,这里建议大家使用switchhosts这款软件,可以快速修改本地host,非常好用。
其他工具:
1. CodeIf(智能命名) : https://unbug.github.io/codelf
大部分开发者都或多或少遇到过变量命名的烦恼,如果命名不规范,不仅会影响开发的效率,而且对后面维护的同学来说也是一个不小的挑战,因为他要去揣摩你这个变量的含义。随着项目越来越复杂,变量和函数数量越来越多,虽然每个编程语言都有各种命名规范,但是也不能解决所有的问题。
“计算机科学里两件最难的事:缓存失效和命名。” Codelf通过搜索在线开源平台Github, Bitbucket, Google Code, Codeplex, Sourceforge, Fedora Project的项目源码,帮开发者从中找出已有的匹配关键字的变量名,从而帮助为变量名苦恼的开发者命名。这个搜索服务支持直接搜索中文。
同时可以在自己用的编辑器里安装插件,支持 VS Code、Atom、Sublime Text 和 Chrome。
2. DocsChina-印记中文 : https://www.docschina.org
这是一个前端中文文档合集,进入网站可以看到开发中经常使用的前端中文文档。如果你的英文实在不怎么好,还在为找中文文档而烦恼,这里将是你非常好的选择。记得放到自己的浏览器收藏夹里哦!
3. any-rule(正则表达大全): http://github.com/any86/any-rule
any-rule 维护了一个常用正则表达式合集,并且本身是一个支持 Web/VS Code/idea/Alfred Workflow 多平台的正则表达式工具。
4. tool.lu(在线工具): https://tool.lu
程序员总是有很多小工具要使用,比如图片、Base64编码、Markdown编辑器时间戳转换,进制转换等,在线运行各种语言代码。这个网站包含了太多程序员需要用到的小工具了。比如你想运行点JAVA代码,又不想麻烦的在系统中安装JAVA环境,可以使用里边的在线运行代码工具,然后选择JAVA,写点JAVA代码就可以直接运行了。
5. Baomitu(前端静态源库): https://cdn.baomitu.com
这个静态资源库是支持HTTP/2的CDN服务,有了它,如果你是自己的小型项目或者是做测试就不用下载任何的代码库,直接粘贴地址过来用就可以,因为是国内的CDN库,速度还非常的快。
6. Typora-Markdown(编写工具):https://www.typora.io
一款实用的 Markdown 编写工具,所见即所得,用Markdown编写文章是一个程序员的标准配置,也就是标配。现在有很多在线工具都支持Markdown,什么有道云笔记、雀语,、印象笔记等。这种简单的界面,沉浸式的编写,清晰的大纲,它就像一件称手的兵器,让你一旦拥有就爱不释手。
7. Snipaste (简单便捷的截图软件):https://zh.snipaste.com/download.html
一款免费的桌面截图软件,功能强大,使用方便,支持任何屏幕位置截图,支持窗口截图,支持快捷方式截图。您可通过截取贴图,使两张图合并为一张图,还能调整截图文字图像等等,是一款非常强大的贴图软件,喜欢此款贴图软件的朋友不要错过。
8. Captura (最好用的开源录屏、gif动态图片制作工具)
官网:https://captura.updatestar.com/ github:https://github.com/MathewSachin/Captura
通过这款工具可以帮助你轻松录制各种视频。支持全屏录制、区域录制两种方式,全屏录制可以录制全部的电脑屏幕,将电脑屏幕上所有的动态都录制下来,该软件还拥有视频编解码器,可以对视频进行解码,支持mp4、avi、GIF、webm等格式,可以满足一般的解码需要。还支持屏幕截图、剪贴板,简单的图像编辑等功能,是一款非常好用的屏幕录像工具。
9. 向日葵 (远程控制软件): https://sunlogin.oray.com/
向日葵远程控制是一款提供远程控制服务的软件。向日葵远程控制支持主流操作系统Windows、Linux、Mac、Android、iOS跨平台协同操作,在任何可连入互联网的地点,都可以轻松访问和控制安装了向日葵远程控制客户端的设备。整个远控过程,可通过浏览器直接进行,无需再安装软件。
10. Everything (本地文件检索工具):http://www.voidtools.com/support/everything/
由voidef="">tools 开发的一款文件搜索工具,这款软件是基于名称实时定位文件和目录。Everthing功能强大,体积小巧,第一次安装使用时会建立一个索引数据库,将所有文件和文件夹的名称导入其中,后续使用能够以极快的速度快速搜索,查找到你所需要的文件。
11. StarUML (UML画图工具)
画uml图的一款神器,类图、时序图、流程图、状态图等等,都可以用这款工具轻松应对。
12. uTools (生产力工具集):https://u.tools/
一个极简、插件化、跨平台的现代化桌面软件。通过自由选配丰富的插件,打造你得心应手的工具集合。这个工具,我只能说他是一款神奇,太牛逼,这款工具中汇集了很多好用的工具,可以通过这款工具秒开电脑上的各种软件。
搜索资源网站工具:
1.Bing
Bing 国际版:https://cn.bing.com/ 感觉比某度要好用多了。
2.DuckDuckGo
DuckDuckGo:https://duckduckgo.com/ 从官网的介绍来看这个搜索引擎不收集用户信息,而且没有广告。
3.Stack Overflow
Stack Overflow:https://stackoverflow.com/ 我们如果常用 Google,很多技术问题的答案就在这个网站上,如果你无法使用 Google 可以在这个网站上直接检索就好了。
4.Gitlogs
Gitlogs:https://www.gitlogs.com/ Gitlogs 是专门针对 GitHub 项目的搜索引擎,我们通过他可以快速找到想要项目。
5.jiumo search
文档搜索引擎 jiumo search 鸠摩搜书:https://www.jiumodiary.com/ 可以用来找一些技术文档手册,很多在百度网盘里。
6.Ebooke
Ebooke:https://ebookee.org/ Ebookee 是一个基于互联网并提供免费电子图书下载的搜索引擎网站。
7.Iconfinder
图标搜索:https://www.iconfinder.com/ 用来查找 logo 图片。
8.TinEye
TinEye:https://www.tineye.com 用图片来检索图片,我们可以上传图片或输入图片的 URL 来检索。
9.SemanticScholar
SemanticScholar:https://www.semanticscholar.org/ SemanticScholar 是一个免费学术搜索引擎,其检索结果来自于期刊、学术会议资料或者是学术机构的文献。
10.LibreStock
LibreStock:https://librestock.com/ LibreStock 上可以检索一些优质的高清图片。
11.CC Search
CC Search:https://ccsearch.creativecommons.org/ CC Search 上搜索到的图片资源都是无版权的,我们可以免费的使用。
12.Pexels
Pexels:https://www.pexels.com/ 高质量的图片网站,可以免费使用。
13.Unsplash
Unsplash:https://unsplash.com/ 免费高清素材网站。
14.The App Store
The App Store:https://theappstore.org/ The App Store 是一个针对苹果手机、iPad、Mac 设备的应用搜索工具。
在线画图工具:
• 在线画图工具ProcessOn:https://www.processon.com/
• 在线画图工具draw.io:https://app.diagrams.net/
• 在线思维导图工具:http://www.mindline.cn/webapp
• PlantUML在线编辑器:http://haha98k.com/
在线开发辅助工具:
日常开发经常会用到一些辅助工具我总结为8大类,包括:编解码工具、转换工具、正则工具、编译工具、网络工具、格式化工具、可视化工具、在线生成器、以及其他工具等等。 具体列表如下:
在线编码工具:
• BASE64编解码工具:https://base64.supfree.net/
• MD5编码工具:https://www.zxgj.cn/g/md5
• AES/DES加解密:http://www.fly63.com/tool/cipher/
• JWT解码工具:http://jwt.calebb.net/
• ASCII编解码工具:https://www.matools.com/code-convert-ascii
• Unicode编解码工具:https://www.zxgj.cn/g/unicode
• UTF-8编解码工具:https://www.zxgj.cn/g/utf8
• 字符串编解码工具:https://www.zxgj.cn/g/enstring
• URL编解码工具:http://tool.chinaz.com/tools/urlencode.aspx?jdfwkey=lbixz1
在线转换工具:
•在线ASCII码对照表:http://www.fly63.com/tool/ascii/
• 通用进制转换工具:https://www.zxgj.cn/g/jinzhi
• 在线浮点数十进制转换:http://www.binaryconvert.com/
• RGB颜色转换:https://www.zxgj.cn/g/yansezhi
• 时间戳转换工具:https://www.zxgj.cn/g/unix
• 计量单位换算工具:http://www.fly63.com/tool/unitable/
• 在线JSON解析:http://www.json.cn/
• 在线JS代码格式化工具:https://prettier.io/playground/
• SQL压缩/格式化工具:https://www.zxgj.cn/g/sqlformat
• JSON和XML在线转换:https://www.zxgj.cn/g/jsonxml
• JSON/YAML在线转换:http://www.fly63.com/tool/jsonyaml/
• 人民币大小写转换工具:http://www.fly63.com/tool/renmingbi/
正则表达式工具:
• 正则表达式调试工具:https://regexr.com/
• 正则表达式可视化工具:https://jex.im/regulex/
网络工具:
• IP地址归属地查询:https://www.ip138.com/
• IP地址查询:https://www.ipip.net/ip.html
• HTTP在线接口测试工具:http://www.fly63.com/php/http/
在线编译运行工具:
• C#在线编译运行:https://rextester.com/
• C/C++在线编译调试:https://www.onlinegdb.com/
• 在线编译工具套装:https://c.runoob.com/
可视化/格式化工具:
• 在线前端编辑器: https://codepen.io/
• 在线数据可视化:https://flourish.studio/
• 在线JSON解析:http://www.json.cn/
• 在线CSS代码可视化工具:https://enjoycss.com/
• XML格式化工具:https://www.zxgj.cn/g/xmlformat
• 在线JS代码格式化工具:https://prettier.io/playground/
• SQL压缩/格式化工具:https://www.zxgj.cn/g/sqlformat
• JSON和XML在线转换:https://www.zxgj.cn/g/jsonxml
• JSON/YAML在线转换:http://www.fly63.com/tool/jsonyaml/
在线生成器:
UUID在线生成器:https://www.zxgj.cn/g/uuid 随机数生成器:https://www.zxgj.cn/g/suijishu其他常用工具:
在线Nginx配置工具:https://nginxconfig.io/ 在线对比工具:http://www.fly63.com/tool/textdiff/ 在线Chrome浏览器插件:https://www.crx4chrome.com/ 在线接口文档管理工具:http://www.docway.net/在线素材工具:
如果你写文章,或者做视频,那就一定少不了要找素材,包括各种图片、背景、emoji表情、表情包、壁纸、视频、gif图等等。
• 免费透明背景图片素材:http://pngimg.com/
• Emoji表情搜索:https://emoji.svend.cc/
• Emoji表情包下载:https://emojiisland.com/
• open source icons:https://feathericons.com/
• 表情包在线网站:https://fabiaoqing.com/
• 免费PNG图片库:https://pluspng.com/
• ICON图标在线下载:https://www.iconfinder.com/
• 极简壁纸:https://bz.zzzmh.cn/
• Wallpaper Abyss壁纸:https://wall.alphacoders.com
• Pixabay图片素材库:https://pixabay.com/zh/
• Unsplash图片素材库:https://unsplash.com
• Pexels图片素材库:http://www.pexels.com
• NASA图片视频素材库:https://images.nasa.gov
设计制作类工具:
对于那些文章创作者和视频创作者而言,设计封面,做海报,设计LOGO,图片美化等等基本也是刚需。
这样大概率日常会用到一些简易好上手的在线设计制作类工具,比如在线P图、音/视频轻量化剪辑、logo制作、海报设计制作、图片美化、在线图片转换或生成等等。
• 在线PS:https://www.uupoop.com/
• 在线音频剪辑:https://www.weixinsyt.com/
• 在线视频剪辑:https://www.kapwing.com/
• 免费logo在线制作:http://www.uugai.com/
• 艺术字体在线生成:https://www.qt86.com/
• 在线表格转换工具: https://tableconvert.com/
• 在线海报设计工具: https://www.designcap.com/
• 图片智能放大工具:https://bigjpg.com/
• 二维码美化器:https://mh.cli.im/
• 在线代码截图工具:https://carbon.now.sh/
• 在线抠图工具:https://www.remove.bg/zh
• ICO图标在线生成:http://www.fly63.com/php/ico/
• SVG转PNG工具:http://www.fly63.com/tool/svg2img/
• 视频转GIF工具:http://www.fly63.com/tool/giftxt/
• 二维码在线生成器:http://www.fly63.com/tool/ewm/
• 二维码在线解码:http://www.fly63.com/php/decoder/
写辅助工具:
写文章的过程中经常会用到和写作相关的辅助工具,比方说:字数统计工具、Markdown格式的文章排版工具、图床网站、代码截图工具等等,所以下面这些在线工具就能很好地满足我的需求。
• 在线字数统计:https://www.eteste.com/
• mdnice markdown排版工具:https://mdnice.com/
• md2all markdown排版工具:http://md.aclickall.com/
• 在线图床神器:https://picx.xpoet.cn/
• 在线免费图床:https://sm.ms/
• 图壳图床:https://imgkr.com/
• 在线代码截图工具:https://carbon.now.sh/
• 在线短链接工具:https://urlify.cn/
• 在线文本替换:http://www.fly63.com/tool/textreplace/
在线办公工具:
部分在线工具主要用来处理一些和文档以及文稿相关的事情,经常用到的比如:在线的全套pdf处理和转换工具、各种各样多媒体文件间的相互转换工具、在线识别工具、在线压缩工具等等。
• pdf在线处理工具1:https://smallpdf.com/cn/pdf-tools
• pdf在线处理工具2:https://tools.pdf24.org/zh/
• pdf转word在线工具:https://www.pdftoword.com/
• 在线多媒体转换器合集:https://cn.office-converter.com/
• 在线文字识别工具:https://ocr.wdku.net/
• 在线文件压缩工具:https://docsmall.com/
文档笔记工具:
好记性不如烂笔头,作为一个学习者,我觉得记笔记是必不可少的步骤。当然现在基本都做电子笔记和电子文档比较多。 现如今各式各样优秀的文档工具和笔记软件鳞次栉比,好用的也有很多,整理成如下列表,这东西各有长处,使用哪个最合意还得看个人习惯和需求了。
• 印象笔记:https://www.yinxiang.com/
• 有道笔记:https://note.youdao.com/
• OneNote:https://www.onenote.com/
• 幕布:https://mubu.com/
• 为知笔记:https://www.wiz.cn/
• 石墨文档:https://shimo.im/
• Simplenote:https://simplenote.com/
• 语雀:https://www.yuque.com/
编程学习网:
• 哔哩哔哩:https://www.bilibili.com/
• C语言网:https://www.dotcpp.com/
• cppreference:http://zh.cppreference.com/
• 中国大学MOOC:https://www.icourse163.org/
• 牛客网:www.nowcoder.com
• 网易公开课:open.163.com
• CodeGym:https://codegym.cc/
• BeginnersBook:https://beginnersbook.com/
• JavaSED:http://www.javased.com/
• codecademy:https://www.codecademy.com/
• Coursera:https://www.coursera.org/
• StackOverFlow:https://stackoverflow.com/
• LeetCode:https://leetcode-cn.com/
• LintCode:https://www.lintcode.com/
在线教程文档:
这部分主要集中了在做开发过程中随手参考所要用到的几乎所有在线教程和官方文档,有中文版文档的基本都优先列出来了,但更多时候是英文的官方文档。
• Git中文教程:https://git-scm.com/book/zh/v2
• SVN中文手册:http://svnbook.red-bean.com/nightly/zh/index.html
• jQuery API中文文档:https://jquery.cuishifeng.cn/
• Nginx中文文档:https://www.nginx.cn/doc/index.html
• Kafka中文文档:https://kafka.apachecn.org/
• Mybatis中文文档:https://mybatis.org/mybatis-3/zh/index.html
• 微信小程序官方文档:https://developers.weixin.qq.com/miniprogram/dev/framework/
• Nodejs中文教程文档:http://nodejs.cn/learn
• Apache Web Server文档:http://httpd.apache.org/docs/
• Spring文档中文版:https://www.springcloud.cc/spring-reference.html
• Golang标准库文档中文版:https://studygolang.com/pkgdoc
• Java 8官方文档:https://docs.oracle.com/javase/8/docs/api/index.html
• Maven官方文档:http://maven.apache.org/guides/
• Tomcat 8官方文档:http://tomcat.apache.org/tomcat-8.0-doc/index.html
• Spring Boot官方文档:https://docs.spring.io/spring-boot/docs/current/reference/htmlsingle/
• RabbitMQ官方文档:https://www.rabbitmq.com/documentation.html
• RocketMQ官方文档:http://rocketmq.apache.org/docs/quick-start/
• Dubbo中文文档:https://dubbo.apache.org/zh/docs/
• Netty官方文档:https://netty.io/wiki/index.html
• Elasticsearch官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html
• Spring Cloud官方文档:https://spring.io/projects/spring-cloud
• Docker官方文档:https://docs.docker.com/get-started/
• kubernetes中文文档:https://kubernetes.io/zh/docs/home/
• thymeleaf官方文档:https://www.thymeleaf.org/documentation.html
• Vue.js中文文档:https://cn.vuejs.org/v2/guide/
• React.js官方文档:https://reactjs.org/docs/getting-started.html
• Jenkins中文文档:https://www.jenkins.io/zh/doc/
华为云平台:
高效易用的低代码aPaaS平台-应用魔方AppCube:https://www.huaweicloud.com/product/appcube.html集华为研发实践、前沿研发理念、先进研发工具为一体的软件开发平台-软件开发平台 DevCloud:https://www.huaweicloud.com/devcloud/以上内容分享自华为云社区《吐血整理:程序员都在用什么工具?》,作者: 考过IE励志当攻城狮 ,部分内容整理自互联网~
7. 地铁跑酷地图切换工具怎么制取?
要制作地铁跑酷地图切换工具,可以考虑以下几个步骤:
1. 确定所需地图及其数据来源,例如从自然实景中获取或建立地形模型库等。2. 进行地图开发和建模,通过一定的软件工具,建立合适的地铁跑酷运动区域和场景,包括障碍物、飞跃点、特殊效果等,以满足玩家的游戏需求。3. 根据用户的选择和需求,编制地图切换算法和实现方式,例如根据不同的游戏等级和难度,自动切换地图,或者手动选择需要切换的地图等方式。4. 处理好地图的质量和稳定性,以保证玩家的游戏体验和数据安全性。5. 测试和优化地图切换工具,及时修复可能出现的问题和故障。可能需要借助一些专业工具和技术支持来进行操作和debug。
本站涵盖的内容、图片、视频等数据系网络收集,部分未能与原作者取得联系。若涉及版权问题,请联系我们删除!联系邮箱:ynstorm@foxmail.com 谢谢支持!
1. selenium教程,小白怎么一步步学习Python3爬虫?
爬虫无非就是获取网页,解析网页的过程,下面我简单介绍一下学习python3爬虫的过程,以windows为例,主要内容如下:
1.首先,掌握基本的网页前端知识,包括html,css,js等。我们爬取的大部分数据都嵌套在网页中,了解基本的网页知识是爬虫的前提,如果你对网页知识还不了解的话,建议花个几天时间了解一下,没必要精通,大概能看懂就行,这里入门的话,直接看w3cschool就行,如下:
2.搭建本地python开发环境,这里直接到python官网下载python就行,下载完成后,直接双击安装就行:
3.掌握python基础知识,包括基本的元组、列表、字典、函数、类、文件处理等,这里直接看廖雪峰的python3教程就行,如下:
4.入门爬虫的话,可以先从最基本的urllib,requests,bs4,lxml等几个包开始,这几个包简单易学,对于初学者来说,是一个很不错的入门选择:
4.掌握基本爬虫后,这里就可以学习爬虫框架—scarpy,可以避免重复造轮子,提高效率:
5.数据爬取下来后,就需要存储,后期就可能需要学习数据库等知识,像mysql,mongodb等,这个就需要自己慢慢学习了:
目前就先分享这么多吧,后期爬虫项目大的话,可能还需要分布式、多线程等,这个就需要自己钻研了,网上也有相关教程和资料,感兴趣的可以搜一下,希望以上分享的内容能对你有所帮助吧。
2. 程序员是如何下载视频的?
you-get呗,一个Python的下载工具,可以免费下载互联网上的视频文件,包括B站、优酷、美拍等,下面我简单介绍一下这个工具的安装和使用,以Python3.6(其他版本也可以)为例:
1.首先,安装you-get,这个直接在cmd窗口输入命令“pip install you-get”就行,如下,非常快:
2.安装成功后,我们就可以直接在cmd中用命令行下载视频了,基本使用方法—“you-get 视频地址”,非常方便,如下,这里以下载B站上的视频为例:
3.这里你也可以查看网站提供的视频格式,包括超清、高清、标清等,只要用参数i指定就行,如下,这里以优酷上的视频为例:
如果需要下载对应格式视频的话,直接使用format参数指定就行,如下:
4.当然,你也可以在线播放视频,只需要用参数p指定本地播放器路径就行,如下,这里以腾讯视频为例:
5.更多参数和功能的话,你可以通过命令“you-get -h”进行查看,非常方便,解释也很详细,如下:
至此,我们就简单介绍完了Python you-get下载工具的安装和使用。总的来说,这个工具使用起来非常方便,也很简单,只要你熟悉一下操作,很快就能掌握的,当然,除了视频外,也可以下载音频、图片等,使用方式是一样的,也是“you-get 音频/图片地址”,网上也有相关资料和教程,非常详细,感兴趣的话,可以搜一下,希望以上分享的内容能对你有所帮助吧,也欢迎大家评论、留言。
3. 有什么方法可以快速学习python和自动化的技巧?
Python使用非常广泛,尤其是在AI开发领域,网上的学习资源和技术论坛非常多,如果有比较好的自律和学习能力,制定一个切实可行的学习计划,坚持总结积累,很快就能形成自己的知识库。
一,在线编程网站推荐一个在线编程网站,HackerRank,看名字就知道很牛,Hacker排行榜。网站提供了很多不能难度不同水平的编程练习题,可以查询成绩、排名、参加竞赛,积累到一定分数后可以获得Python勋章。并且可以邀请同学朋友一起组队练习,增加学习动力。
1,注册账号,登录,选择要学习的Python编程语言
2,选择题目
根据自己制定的学习计划和进度,筛选不同的难度,选择不同功能类别,有针对性的练习提高。
3,编写代码
阅读题目要求,参考题目指南和讨论区帖子,在代码编辑器里开发代码。完成代码后点击下方”Run Code“按钮运行,查看结果,修复错误。
4,提交代码,通过单元测试后获得分数
提交代码时,将自动运行多个单元测试,根据通过率得到评分。
5,积累到一定分数后,获得Python勋章
二,参加开源项目Github上面有很多基于Python开发的开源项目,尝试参加自己擅长或者喜欢的项目。
1. 选择有兴趣的项目,仔细阅读文档和代码,查看历史提交记录,这个过程本身也能学到很多知识
2. 阅读代码,重点理解怎么写?为什么这样写?有没有更好的写法?
3. 按照开源社区的代码标准,开发提交代码,完成单元测试
我是工作多年的Web应用架构师,陆续发布关于软件开发方面的文章,欢迎关注我,了解更多IT专业知识。
4. 想学python网络爬虫?
学习Python爬虫首先要具备一些必备知识,
Python
html
正则表达式
Python是我们用于爬虫的工具,结合requests、BeautifulSoup等第三方工具包可以实现程序的开发。而html是我们要爬的目标,需要了解其中标签的含义。另外,在爬虫过程中需要很多字段和标签的匹配,这会经常用到正则表达式。
当然,一个成熟的爬虫需要的技能远不止这些技能。下面我就以最简单的思路,逐步介绍一下如何开始爬虫,保证一文看完就能明白。
前言就如同标题指明的那样,本文主要针对入门,如果寻求进阶,或者在爬虫方面走的更远,本文提供的帮助是微乎其微的,本文的主要目的就是用简单的方式、简单的语言帮助对网页爬虫感兴趣的同学。目前网上有关网页爬虫的指导有很多,但是套路却是千篇一律,基本都是围绕以下内容进行展开,CSS/html等网页知识requests或urllibBeautifulSoup或正则表达式Selenium或者Scrapy对于我来说,学习爬虫知识一项获取数据的工具,而不是工作的主要内容,因此,没有太多的时间花费在上述知识成体系的学习上面。上述提到的每块都涉及大量的知识,一段时间的学习之后容易让人陷入"云里雾里",然后就丧失了学习的兴趣,没有全局观、没有重点,最终使得学习效率非常低下。本文不详细的讲解什么是CSS/html,怎么用requests或者urllib,本文主要目的是介绍怎么去爬取一个网站、爬取我们需要的资源,可能会用到上述一个或几个模块里的知识,对我们用到的功能了解即可,没有必要从头至尾的学习一遍,希望能够用这种方法让对爬虫感兴趣的同学对这项技术有一个统筹的认识,能够满足日常获取数据的需求,如果想要在这项技术上深入研究,可以后续学习其他成体系的课程,对上述模块认真、详细的学习。准备工作很多网页爬虫的教程中使用或者提及到很多工具,本文选择以下几项工具,网页浏览器(Google Chrome)BeautifulSoup4requests网页浏览器主要用于查看网页html源码和检查网页单元使用,浏览器有很多,谷歌、火狐、IE等,每个人的喜好不同,可以根据自己的日常习惯进行选择,本文以Google Chrome为例进行讲解。BeautifulSoup4是一个HTML、XML的解析器,它能够轻而易举的解析web网页,从中获取我们想要的单元和信息,能够避免筛选信息时的麻烦,它能够提供用于迭代、搜索、修改解析树的用法。在网页匹配过程中BeautifulSoup的速度并不比正则表达式快,甚至还要慢一些,但是它最大的优势就是简单、便捷,因此是很多网页爬虫工程中的必选工具之一。安装$ pip install beautifulsoup4requests是Python大神Kenneth Reitz的力作,是一个用于网络请求的第三方库,Python已经内容了urllib模块用于访问网络资源,但是使用起来相对麻烦,而requests相比之下要方便快捷很多,因此本文选择用requests进行网络请求。安装$ pip install requests动手实践很多教程选择爬取糗事百科、网页图片,本文就选取另外一个方向,爬取我们常用的百度百科,这样更加直观、易于理解。经常浏览网页,注意细节或者善于总结的会发现,网址主要有两部分组成,基础部分,和对应词条的后缀,例如上述百科词条,由基础部分https://baike.baidu.com组成,后缀是item/林志玲/172898?fr=aladdin,因此我们要爬取一个网站首先要获取一个网址。第一步,要确定一个目标,你要爬取什么数据?很多人会认为,这不是废话吗?我个人认为这是很重要的,有目的才会效率更好,在没有某种目标驱动的情况下,就很难带着问题和压力去做一件事情,这样会变得漫无目的,导致效率很低,因此,我认为最重要的是首先要清楚想爬取什么数据?网页上的音乐图片素材...本文就以爬取百度百科词条内部链接和下载图片为目标进行讲解。第二步,我们要获取一个基础的网址,百度百科的基础网址,https://baike.baidu.com/第三步,打开首页,以林志玲的百度词条为首页开始爬取。第四步,查看源码,很多人都知道查看源码的快捷键是F12,不管是谷歌浏览器还是IE浏览器,都是这样,但是当按下F12之后会不由得疑问,"这是什么东西?",令人毫无头绪。当然,可以一步一步的去了解源码,学习html的知识,然后用正则表达式去一步一步、一个单元一个单元的匹配我们想要的信息,但是这样未免太复杂了,我个人推荐使用检查工具。爬取内部链接指向我们想要了解的元素,素,鼠标右键->检查,能够快速定位我们关注的元素。我觉得到这一步就已经够了,最简单的网页爬虫就是反复的重复以下两个步骤:检查定位我们想要的元素和属性BeautifulSoup4匹配我们要的信息通过检查功能可以看到,百科词条内部链接部分的源码是这样的,元素1:<a target="_blank" href="/item/%E5%87%AF%E6%B8%A5%E6%A8%A1%E7%89%B9%E7%BB%8F%E7%BA%AA%E5%85%AC%E5%8F%B8/5666862" data-lemmaid="5666862">凯渥模特经纪公司</a>元素2:<a target="_blank" href="/item/%E5%86%B3%E6%88%98%E5%88%B9%E9%A9%AC%E9%95%87/1542991" data-lemmaid="1542991">决战刹马镇</a>元素3:<a target="_blank" href="/item/%E6%9C%88%E4%B9%8B%E6%81%8B%E4%BA%BA/10485259" data-lemmaid="10485259">月之恋人</a>元素4:<a target="_blank" href="/item/AKIRA/23276012" data-lemmaid="23276012">AKIRA</a>从上述4个元素可以看出,我们想要的信息词条内部链接在标签<a></a>中,标签中有以下几个属性:target:这个属性贵姓在何处打开链接文档,_blank标明浏览器总在一个新标签页载入目标文档,也就是链接href指向的文档。href:前面已经提过很多次,属性href用于指定超链接目标的链接,如果用户选中了标签<a></a>中的内容,则会尝试打开并显示href指定链接的文档。data-*:这是html的新特性可以存储用户自定义的属性。可以看出,我们想要的信息就在href中,也就是词条的内部链接。因此,我们爬虫的目标就很明确了,就是解析出href超链接。到这里,浏览器检查功能已经发挥了它的作用,下一步问题就变成了我们怎么解析出标签中href的链接?这时,BeautifulSoup4就派上用场了。用BeautifulSoup4解析我们从网页上抓取的html,soup = BeautifulSoup(response.text, 'html.parser')看到这里也许会疑惑,html.parser是什么?这是一种html的解析器,Python中提供几种html解析器,它们的主要特点分别是,综合来说,我们选取html.parser解析器,选取好解析器之后就开始着手匹配我们想要的元素,可是看一下html发现,网页中有很多<a></a>标签,我们该匹配哪一类呢?<a target="_blank" href="/item/AKIRA/23276012" data-lemmaid="23276012">AKIRA</a>仔细看一下会发现特点,target="_blank",属性href以/item开头的,于是就有了我们的匹配条件,{"target": "_blank", "href": re.compile("/item/(%.{2})+$")}用这样的匹配条件去匹配符合target、href要求的标签<a></a>,sub_urls = soup.find_all("a", {"target": "_blank", "href": re.compile("/item/(%.{2})+$")})完整代码为,def main(): url = BASE_URL + START_PAGE response = sessions.post(url) response.encoding = response.apparent_encoding soup = BeautifulSoup(response.text, 'html.parser') sub_urls = soup.find_all("a", {"target": "_blank", "href": re.compile("/item/(%.{2})+$")}) for sub_url in sub_urls: print(sub_url)输出结果为,<a href="/item/%E5%B9%B8%E7%A6%8F%E9%A2%9D%E5%BA%A6" target="_blank">幸福额度</a><a href="/item/%E5%8C%97%E4%BA%AC%C2%B7%E7%BA%BD%E7%BA%A6" target="_blank">北京·纽约</a><a href="/item/%E5%A4%9A%E4%BC%A6%E5%A4%9A%E5%A4%A7%E5%AD%A6" target="_blank">多伦多大学</a><a href="/item/%E5%88%BA%E9%99%B5" target="_blank">刺陵</a><a href="/item/%E5%86%B3%E6%88%98%E5%88%B9%E9%A9%AC%E9%95%87" target="_blank">决战刹马镇</a><a href="/item/%E5%8C%97%E4%BA%AC%C2%B7%E7%BA%BD%E7%BA%A6" target="_blank">北京·纽约</a><a href="/item/%E5%BC%A0%E5%9B%BD%E8%8D%A3" target="_blank">张国荣</a><a href="/item/%E5%A5%A5%E9%BB%9B%E4%B8%BD%C2%B7%E8%B5%AB%E6%9C%AC" target="_blank">奥黛丽·赫本</a><a href="/item/%E6%9E%97%E5%81%A5%E5%AF%B0" target="_blank">林健寰</a><a href="/item/%E6%96%AF%E7%89%B9%E7%BD%97%E6%81%A9%E4%B8%AD%E5%AD%A6" target="_blank">斯特罗恩中学</a><a href="/item/%E5%A4%9A%E4%BC%A6%E5%A4%9A%E5%A4%A7%E5%AD%A6" target="_blank">多伦多大学</a><a href="/item/%E5%8D%8E%E5%86%88%E8%89%BA%E6%A0%A1" target="_blank">华冈艺校</a><a href="/item/%E5%94%90%E5%AE%89%E9%BA%92" target="_blank">唐安麒</a><a href="/item/%E6%97%A5%E6%9C%AC%E5%86%8D%E5%8F%91%E7%8E%B0" target="_blank">日本再发现</a><a href="/item/%E4%BA%9A%E5%A4%AA%E5%BD%B1%E5%B1%95" target="_blank">亚太影展</a><a href="/item/%E6%A2%81%E6%9C%9D%E4%BC%9F" target="_blank">梁朝伟</a><a href="/item/%E9%87%91%E5%9F%8E%E6%AD%A6" target="_blank">金城武</a>......在用属性字段sub_url["href"]过滤一下即可,/item/%E5%B9%B8%E7%A6%8F%E9%A2%9D%E5%BA%A6/item/%E5%8C%97%E4%BA%AC%C2%B7%E7%BA%BD%E7%BA%A6/item/%E5%A4%9A%E4%BC%A6%E5%A4%9A%E5%A4%A7%E5%AD%A6/item/%E5%88%BA%E9%99%B5/item/%E5%86%B3%E6%88%98%E5%88%B9%E9%A9%AC%E9%95%87/item/%E5%8C%97%E4%BA%AC%C2%B7%E7%BA%BD%E7%BA%A6/item/%E5%BC%A0%E5%9B%BD%E8%8D%A3......就得到了词条内部链接的后缀部分,然后和基础的url拼接在一起就是完整的内部链接地址。同理,用同样的方法也可以爬取其他内容,比如糗事百科的笑话、专业网站的素材、百度百科的词条,当然,有些文本信息比较杂乱,这个过程中需要一些信息的筛选过程,例如利用正则表达式来匹配一段文本中有价值的信息,方法与上述大同小异。下载图片和爬取内部链接一样,要善于利用浏览器的检查功能,检查一下词条内部图片的链接,<img class="picture" alt="活动照" src="https://gss2.bdstatic.com/-fo3dSag_xI4khGkpoWK1HF6hhy/baike/s%3D220/sign=85844ee8de0735fa95f049bbae500f9f/dbb44aed2e738bd49d805ec2ab8b87d6267ff9a4.jpg" style="width:198px;height:220px;">发现,图片链接存放在<img></img>标签内部,用上述方法可以匹配到图片的完整链接,url = BASE_URL + START_PAGE response = sessions.post(url) response.encoding = response.apparent_encoding soup = BeautifulSoup(response.text, "html.parser") image_urls = soup.find_all("img", {"class": "picture"}) for image_url in image_urls: print(image_url["src"])输出如下,https://gss2.bdstatic.com/9fo3dSag_xI4khGkpoWK1HF6hhy/baike/s%3D220/sign=36dbb0f7e1f81a4c2232ebcbe7286029/a2cc7cd98d1001e903e9168cb20e7bec55e7975f.jpg https://gss2.bdstatic.com/-fo3dSag_xI4khGkpoWK1HF6hhy/baike/s%3D220/sign=85844ee8de0735fa95f049bbae500f9f/dbb44aed2e738bd49d805ec2ab8b87d6267ff9a4.jpg ...然后用requests发送请求,获取图片的数据,然后以读写文件的方式存储到本地,for image_url in image_urls: url = image_url["src"] response = requests.get(url, headers=headers) with open(url[-10:], 'wb') as f: f.write(response.content)除了requests之外,还可以使用urllib.request.urlretrieve下载图片,urlretrieve相对要方便一些,但是对于大文件,requests可以分段读写,更具有优势。
上述介绍的方法是比较简单的一种,如果精力有限也可以尝试一下Selenium或者Scrapy,这两款工具的确非常强大,尤其是Selenium,它本是一款自动化测试工具,但是后来发现它同样可以用于网页爬虫,让浏览器帮助你自动爬取数据的工具,它可以以用户访问网页类似的行为去浏览网页并抓取数据,非常高效,感兴趣的可以尝试一下。
5. 近几年热火的Python语言?
Python可以做什么呢,以下是一名多年程序员的见解:
1、Python,叫爬虫大家可能更熟悉,可以爬取数据,这么说吧,只要能通过浏览器获取的数据都能通过Python爬虫获取,比如 爬图片、爬视频。本人上传了关于爬虫的案例教程,看到了吗:
2、Python爬虫的本质其实就是模拟浏览器打开html网页,然后获取相关的数据信息。你了解网页打开的过程吗:当在浏览器中输入网址后——DNS会进行主机解析——发送请求——数据解析后回应给用户浏览器结果,这些结果的呈现形式是html代码,而Python爬虫就可以通过过滤分析这些代码从而得到我们要的资源;
3、Python爬虫的另一个强大功能是制作批处理脚本或者程序,能自动循环执行目标程序,实现自动下载、自动存储图片、音视频和数据库的数据。
6. 神级程序员都在用什么工具?
摘要:在我认识的所有程序员里,每个人几乎都有专属于自己的常用工具和相关资源,今天给大家奉上数十个程序员硬核工具,我相信这里总有一款工具是属于你的!
程序员生产力工具大全如下:
1. Idea-Intellij IDEA (java 编程语言 开发的集成环境)
业界排名第一的java开发工具,非常非常好用,如果还在用eclipse的朋友,赶紧来体验一把,你一定会爱上她的。
2. SecureCRT (SSH终端仿真程序)
SecureCRT是一款终端仿真程序,支持SSH(SSH1和SSH2)以及Telnet和rlogin协议。SecureCRT用于连接运行包括Windows、UNIX和VMS在内的远程系统的理想工具。
3. Termius (全平台的远程终端)
termius是一款全平台的远程终端,Termius不仅涵盖了Windows、Linux、OSX,还变态得支持Android和iOS(以后在地铁、公交上都可以随时拿出手机来排查线上问题啦,还真是广大程序员的福音呢。
4. Google Chrome (谷歌浏览器)
Google Chrome是一款由Google公司开发的网页浏览器,该浏览器基于其他开源软件撰写,包括WebKit,目标是提升稳定性、速度和安全性,并创造出简单且有效率的使用者界面。
5. iTerm (为Mac OS X编写的终端仿真程序)
iTerm是一个为Mac OS X编写的,功能齐全的终端仿真程序;目标是在为用户提供OS X下最佳的命令行体验;字母i代表了本地苹果的外观和风格的程序界面,并把重点放在完整的国际支持; 它合并由两个项目, CTerminal和TerminalX ,而这两者都是基于JTerminal项目;该软件非常有实用和易用性。
6. Visual Studio Code (简称“VS Code”,编写现代Web和云应用的跨平台源代码编辑器)
重新定义和优化了代码编辑,以便生成和调试新式 Web 应用程序和云应用程序。也是著名的文本编辑器,它是轻量级的,vSCode的一大特点就是你可以通过多种方式来调整设置,而且Vim可以和VScode集成在一起,它还带有一个集成终端,可用的扩展太多,使开发人员的工作变得更加轻松。我最喜欢的一些扩展是AWS Toolkit, ESLint,Live Server, Live Share, Prettier-代码格式化程序,YAML,Live Sass编译器,Docker等。
7. VMware Fusion & VMware workstation (为计算机开发的虚拟机管理程序)
是在计算机上无缝运行 Windows 的最佳方式,可确保 Windows 应用程序在计算机上实现无缝运行可以在基于 Intel 的计算机上无缝运行 Windows、Linux 以及其他 PC等多个操作系统,进而构建、测试或演示软件。
8. Navicat Premium (数据库管理工具)
Navicat premium是一款数据库管理工具,是一个可多重连线资料库的管理工具,它可以让你以单一程式同时连线到 MySQL、SQLite、Oracle 及 PostgreSQL 资料库,让管理不同类型的资料库更加的方便。
9. Postman (api调试工具)
简单来说,四个词,简单、实用、大方、美观!postman这款网页调试工具的windows客户端,功能强大的HTTP调试与模拟插件。使用Postman可以进行API开发、请求、调试,除了它,还可以使用lnsomnia和Insomnia Designer作为API文档。
10. RedisDesktopManager (一款可视化 redis管理工具 )
Redis Desktop Manager是一款简单快速、跨平台的Redis桌面管理工具,也被称作Redis可视化工具,Redis Desktop Manager官方版是一款开源软件,支持通过SSH Tunnel连接,支持windows、mac等多平台。
11. Dash (基于MAC的 API文档浏览器和代码片段管理器)
“开发者不可或缺的杰作。”Dash 可让您的 Mac 即时离线访问 200 多个 API 文档集。立刻搜索离线文件集200层+的API ,100+备忘单和 href="">更多 功能。您甚至可以"">生成自己的文档集 或 href="">请求 包含href="">文档集 。
12. Fiddler & Wireshark (http抓包工具)
Fiddler和Wireshark都是进行抓包的工具:所谓抓包就是将网络传输发送与接收的数据包进行截获、重发、编辑、转存等操作,也用来检查网络安全。作为开发者,经常想调试一下http请求发送的数据的详情,那么可以使用这2款软件。用抓包工具wireshark的人相对来说更多一些。
13. HBuilder X (HTML5的Web开发工具)
当前最快的HTML开发工具,强大的代码助手帮你快速完成开发,最全的语法库和浏览器兼容性数据让浏览器碎片化不再头痛。作为HBuilder下一代的全新编辑器,HBuilderX被定位为ide和编辑器的完美结合,除了对某种语言的语法分析、提示、转到定义、调试,同时加强了对通用文本处理能力,界面更加清爽,拥有比上一代更加有效的快捷键体系。
14. MobaXterm (远程终端控制软件,集串口,SSH远程登录和FTP传输三合一的工具)
多功能终端MobaXterm Professional Edition 是一款豪华、全功能的终端软件。MobaXterm带来了所有必要的Unix命令到Windows桌面,在开箱单便携式exe文件。MobaXterm允许您启动远程会话。远程shell,MobaXterm远比Putty好用,您可以选择创建SSH,远程登录,Rlogin,RDP,VNC,XDMCP,FTP,SFTP或串行会话。
15. Sublime Text (跨平台代码编辑器)
http://www.sublimetext.cn/
Sublime Text 是一款用于代码、标记和散文的精致文本编辑器。Sublime Text 中文网致力于为广大国内开发者提供详尽的中文文档、使用说明等,助力开发者快速掌握这个编辑器。
16.webstorm (专业的HTML编辑工具)
web开发的必备的一款开发神器,比如写js、页面、css,那么这款软件用起来非常顺手。此软件和idea出自于同一家公司,这家公司做了很多异常好用的软件,基本上你需要的各种开发相关的IDE,这家公司都生产。可以说是“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”。新版对JavaScript,TypeScript和CSS支持更好,改进了Vue.js的体验,并为Jest集成增加了新功能。
17.Xshell (功能强大的终端模拟器)
linux原创控制软件,完全免费且非常稳定的 SSH 客户端 ,支持多种远程协议,提供了很多特色与高级功能,简体中文界面也让你轻松管理远程服务器。 Xshell 的 Screen 会话不闪屏,而且可以回滚;Script 的执行顺序可以调整;可以同时发送指令到多个 session;支持布局切换等。
18. SwitchHosts (修改Hosts文件的工具)
这是用于在多个HOSTS之间进行切换。可在公用hosts文件 、当前系统hosts、本地方案和在线方案间进行切换。作为一名开发人员,经常需要修改本地host,你还是通过修改host文件来操作的么?那样太慢了,这里建议大家使用switchhosts这款软件,可以快速修改本地host,非常好用。
其他工具:
1. CodeIf(智能命名) : https://unbug.github.io/codelf
大部分开发者都或多或少遇到过变量命名的烦恼,如果命名不规范,不仅会影响开发的效率,而且对后面维护的同学来说也是一个不小的挑战,因为他要去揣摩你这个变量的含义。随着项目越来越复杂,变量和函数数量越来越多,虽然每个编程语言都有各种命名规范,但是也不能解决所有的问题。
“计算机科学里两件最难的事:缓存失效和命名。” Codelf通过搜索在线开源平台Github, Bitbucket, Google Code, Codeplex, Sourceforge, Fedora Project的项目源码,帮开发者从中找出已有的匹配关键字的变量名,从而帮助为变量名苦恼的开发者命名。这个搜索服务支持直接搜索中文。
同时可以在自己用的编辑器里安装插件,支持 VS Code、Atom、Sublime Text 和 Chrome。
2. DocsChina-印记中文 : https://www.docschina.org
这是一个前端中文文档合集,进入网站可以看到开发中经常使用的前端中文文档。如果你的英文实在不怎么好,还在为找中文文档而烦恼,这里将是你非常好的选择。记得放到自己的浏览器收藏夹里哦!
3. any-rule(正则表达大全): http://github.com/any86/any-rule
any-rule 维护了一个常用正则表达式合集,并且本身是一个支持 Web/VS Code/idea/Alfred Workflow 多平台的正则表达式工具。
4. tool.lu(在线工具): https://tool.lu
程序员总是有很多小工具要使用,比如图片、Base64编码、Markdown编辑器时间戳转换,进制转换等,在线运行各种语言代码。这个网站包含了太多程序员需要用到的小工具了。比如你想运行点JAVA代码,又不想麻烦的在系统中安装JAVA环境,可以使用里边的在线运行代码工具,然后选择JAVA,写点JAVA代码就可以直接运行了。
5. Baomitu(前端静态源库): https://cdn.baomitu.com
这个静态资源库是支持HTTP/2的CDN服务,有了它,如果你是自己的小型项目或者是做测试就不用下载任何的代码库,直接粘贴地址过来用就可以,因为是国内的CDN库,速度还非常的快。
6. Typora-Markdown(编写工具):https://www.typora.io
一款实用的 Markdown 编写工具,所见即所得,用Markdown编写文章是一个程序员的标准配置,也就是标配。现在有很多在线工具都支持Markdown,什么有道云笔记、雀语,、印象笔记等。这种简单的界面,沉浸式的编写,清晰的大纲,它就像一件称手的兵器,让你一旦拥有就爱不释手。
7. Snipaste (简单便捷的截图软件):https://zh.snipaste.com/download.html
一款免费的桌面截图软件,功能强大,使用方便,支持任何屏幕位置截图,支持窗口截图,支持快捷方式截图。您可通过截取贴图,使两张图合并为一张图,还能调整截图文字图像等等,是一款非常强大的贴图软件,喜欢此款贴图软件的朋友不要错过。
8. Captura (最好用的开源录屏、gif动态图片制作工具)
官网:https://captura.updatestar.com/ github:https://github.com/MathewSachin/Captura
通过这款工具可以帮助你轻松录制各种视频。支持全屏录制、区域录制两种方式,全屏录制可以录制全部的电脑屏幕,将电脑屏幕上所有的动态都录制下来,该软件还拥有视频编解码器,可以对视频进行解码,支持mp4、avi、GIF、webm等格式,可以满足一般的解码需要。还支持屏幕截图、剪贴板,简单的图像编辑等功能,是一款非常好用的屏幕录像工具。
9. 向日葵 (远程控制软件): https://sunlogin.oray.com/
向日葵远程控制是一款提供远程控制服务的软件。向日葵远程控制支持主流操作系统Windows、Linux、Mac、Android、iOS跨平台协同操作,在任何可连入互联网的地点,都可以轻松访问和控制安装了向日葵远程控制客户端的设备。整个远控过程,可通过浏览器直接进行,无需再安装软件。
10. Everything (本地文件检索工具):http://www.voidtools.com/support/everything/
由voidef="">tools 开发的一款文件搜索工具,这款软件是基于名称实时定位文件和目录。Everthing功能强大,体积小巧,第一次安装使用时会建立一个索引数据库,将所有文件和文件夹的名称导入其中,后续使用能够以极快的速度快速搜索,查找到你所需要的文件。
11. StarUML (UML画图工具)
画uml图的一款神器,类图、时序图、流程图、状态图等等,都可以用这款工具轻松应对。
12. uTools (生产力工具集):https://u.tools/
一个极简、插件化、跨平台的现代化桌面软件。通过自由选配丰富的插件,打造你得心应手的工具集合。这个工具,我只能说他是一款神奇,太牛逼,这款工具中汇集了很多好用的工具,可以通过这款工具秒开电脑上的各种软件。
搜索资源网站工具:
1.Bing
Bing 国际版:https://cn.bing.com/ 感觉比某度要好用多了。
2.DuckDuckGo
DuckDuckGo:https://duckduckgo.com/ 从官网的介绍来看这个搜索引擎不收集用户信息,而且没有广告。
3.Stack Overflow
Stack Overflow:https://stackoverflow.com/ 我们如果常用 Google,很多技术问题的答案就在这个网站上,如果你无法使用 Google 可以在这个网站上直接检索就好了。
4.Gitlogs
Gitlogs:https://www.gitlogs.com/ Gitlogs 是专门针对 GitHub 项目的搜索引擎,我们通过他可以快速找到想要项目。
5.jiumo search
文档搜索引擎 jiumo search 鸠摩搜书:https://www.jiumodiary.com/ 可以用来找一些技术文档手册,很多在百度网盘里。
6.Ebooke
Ebooke:https://ebookee.org/ Ebookee 是一个基于互联网并提供免费电子图书下载的搜索引擎网站。
7.Iconfinder
图标搜索:https://www.iconfinder.com/ 用来查找 logo 图片。
8.TinEye
TinEye:https://www.tineye.com 用图片来检索图片,我们可以上传图片或输入图片的 URL 来检索。
9.SemanticScholar
SemanticScholar:https://www.semanticscholar.org/ SemanticScholar 是一个免费学术搜索引擎,其检索结果来自于期刊、学术会议资料或者是学术机构的文献。
10.LibreStock
LibreStock:https://librestock.com/ LibreStock 上可以检索一些优质的高清图片。
11.CC Search
CC Search:https://ccsearch.creativecommons.org/ CC Search 上搜索到的图片资源都是无版权的,我们可以免费的使用。
12.Pexels
Pexels:https://www.pexels.com/ 高质量的图片网站,可以免费使用。
13.Unsplash
Unsplash:https://unsplash.com/ 免费高清素材网站。
14.The App Store
The App Store:https://theappstore.org/ The App Store 是一个针对苹果手机、iPad、Mac 设备的应用搜索工具。
在线画图工具:
• 在线画图工具ProcessOn:https://www.processon.com/
• 在线画图工具draw.io:https://app.diagrams.net/
• 在线思维导图工具:http://www.mindline.cn/webapp
• PlantUML在线编辑器:http://haha98k.com/
在线开发辅助工具:
日常开发经常会用到一些辅助工具我总结为8大类,包括:编解码工具、转换工具、正则工具、编译工具、网络工具、格式化工具、可视化工具、在线生成器、以及其他工具等等。 具体列表如下:
在线编码工具:
• BASE64编解码工具:https://base64.supfree.net/
• MD5编码工具:https://www.zxgj.cn/g/md5
• AES/DES加解密:http://www.fly63.com/tool/cipher/
• JWT解码工具:http://jwt.calebb.net/
• ASCII编解码工具:https://www.matools.com/code-convert-ascii
• Unicode编解码工具:https://www.zxgj.cn/g/unicode
• UTF-8编解码工具:https://www.zxgj.cn/g/utf8
• 字符串编解码工具:https://www.zxgj.cn/g/enstring
• URL编解码工具:http://tool.chinaz.com/tools/urlencode.aspx?jdfwkey=lbixz1
在线转换工具:
•在线ASCII码对照表:http://www.fly63.com/tool/ascii/
• 通用进制转换工具:https://www.zxgj.cn/g/jinzhi
• 在线浮点数十进制转换:http://www.binaryconvert.com/
• RGB颜色转换:https://www.zxgj.cn/g/yansezhi
• 时间戳转换工具:https://www.zxgj.cn/g/unix
• 计量单位换算工具:http://www.fly63.com/tool/unitable/
• 在线JSON解析:http://www.json.cn/
• 在线JS代码格式化工具:https://prettier.io/playground/
• SQL压缩/格式化工具:https://www.zxgj.cn/g/sqlformat
• JSON和XML在线转换:https://www.zxgj.cn/g/jsonxml
• JSON/YAML在线转换:http://www.fly63.com/tool/jsonyaml/
• 人民币大小写转换工具:http://www.fly63.com/tool/renmingbi/
正则表达式工具:
• 正则表达式调试工具:https://regexr.com/
• 正则表达式可视化工具:https://jex.im/regulex/
网络工具:
• IP地址归属地查询:https://www.ip138.com/
• IP地址查询:https://www.ipip.net/ip.html
• HTTP在线接口测试工具:http://www.fly63.com/php/http/
在线编译运行工具:
• C#在线编译运行:https://rextester.com/
• C/C++在线编译调试:https://www.onlinegdb.com/
• 在线编译工具套装:https://c.runoob.com/
可视化/格式化工具:
• 在线前端编辑器: https://codepen.io/
• 在线数据可视化:https://flourish.studio/
• 在线JSON解析:http://www.json.cn/
• 在线CSS代码可视化工具:https://enjoycss.com/
• XML格式化工具:https://www.zxgj.cn/g/xmlformat
• 在线JS代码格式化工具:https://prettier.io/playground/
• SQL压缩/格式化工具:https://www.zxgj.cn/g/sqlformat
• JSON和XML在线转换:https://www.zxgj.cn/g/jsonxml
• JSON/YAML在线转换:http://www.fly63.com/tool/jsonyaml/
在线生成器:
UUID在线生成器:https://www.zxgj.cn/g/uuid 随机数生成器:https://www.zxgj.cn/g/suijishu其他常用工具:
在线Nginx配置工具:https://nginxconfig.io/ 在线对比工具:http://www.fly63.com/tool/textdiff/ 在线Chrome浏览器插件:https://www.crx4chrome.com/ 在线接口文档管理工具:http://www.docway.net/在线素材工具:
如果你写文章,或者做视频,那就一定少不了要找素材,包括各种图片、背景、emoji表情、表情包、壁纸、视频、gif图等等。
• 免费透明背景图片素材:http://pngimg.com/
• Emoji表情搜索:https://emoji.svend.cc/
• Emoji表情包下载:https://emojiisland.com/
• open source icons:https://feathericons.com/
• 表情包在线网站:https://fabiaoqing.com/
• 免费PNG图片库:https://pluspng.com/
• ICON图标在线下载:https://www.iconfinder.com/
• 极简壁纸:https://bz.zzzmh.cn/
• Wallpaper Abyss壁纸:https://wall.alphacoders.com
• Pixabay图片素材库:https://pixabay.com/zh/
• Unsplash图片素材库:https://unsplash.com
• Pexels图片素材库:http://www.pexels.com
• NASA图片视频素材库:https://images.nasa.gov
设计制作类工具:
对于那些文章创作者和视频创作者而言,设计封面,做海报,设计LOGO,图片美化等等基本也是刚需。
这样大概率日常会用到一些简易好上手的在线设计制作类工具,比如在线P图、音/视频轻量化剪辑、logo制作、海报设计制作、图片美化、在线图片转换或生成等等。
• 在线PS:https://www.uupoop.com/
• 在线音频剪辑:https://www.weixinsyt.com/
• 在线视频剪辑:https://www.kapwing.com/
• 免费logo在线制作:http://www.uugai.com/
• 艺术字体在线生成:https://www.qt86.com/
• 在线表格转换工具: https://tableconvert.com/
• 在线海报设计工具: https://www.designcap.com/
• 图片智能放大工具:https://bigjpg.com/
• 二维码美化器:https://mh.cli.im/
• 在线代码截图工具:https://carbon.now.sh/
• 在线抠图工具:https://www.remove.bg/zh
• ICO图标在线生成:http://www.fly63.com/php/ico/
• SVG转PNG工具:http://www.fly63.com/tool/svg2img/
• 视频转GIF工具:http://www.fly63.com/tool/giftxt/
• 二维码在线生成器:http://www.fly63.com/tool/ewm/
• 二维码在线解码:http://www.fly63.com/php/decoder/
写辅助工具:
写文章的过程中经常会用到和写作相关的辅助工具,比方说:字数统计工具、Markdown格式的文章排版工具、图床网站、代码截图工具等等,所以下面这些在线工具就能很好地满足我的需求。
• 在线字数统计:https://www.eteste.com/
• mdnice markdown排版工具:https://mdnice.com/
• md2all markdown排版工具:http://md.aclickall.com/
• 在线图床神器:https://picx.xpoet.cn/
• 在线免费图床:https://sm.ms/
• 图壳图床:https://imgkr.com/
• 在线代码截图工具:https://carbon.now.sh/
• 在线短链接工具:https://urlify.cn/
• 在线文本替换:http://www.fly63.com/tool/textreplace/
在线办公工具:
部分在线工具主要用来处理一些和文档以及文稿相关的事情,经常用到的比如:在线的全套pdf处理和转换工具、各种各样多媒体文件间的相互转换工具、在线识别工具、在线压缩工具等等。
• pdf在线处理工具1:https://smallpdf.com/cn/pdf-tools
• pdf在线处理工具2:https://tools.pdf24.org/zh/
• pdf转word在线工具:https://www.pdftoword.com/
• 在线多媒体转换器合集:https://cn.office-converter.com/
• 在线文字识别工具:https://ocr.wdku.net/
• 在线文件压缩工具:https://docsmall.com/
文档笔记工具:
好记性不如烂笔头,作为一个学习者,我觉得记笔记是必不可少的步骤。当然现在基本都做电子笔记和电子文档比较多。 现如今各式各样优秀的文档工具和笔记软件鳞次栉比,好用的也有很多,整理成如下列表,这东西各有长处,使用哪个最合意还得看个人习惯和需求了。
• 印象笔记:https://www.yinxiang.com/
• 有道笔记:https://note.youdao.com/
• OneNote:https://www.onenote.com/
• 幕布:https://mubu.com/
• 为知笔记:https://www.wiz.cn/
• 石墨文档:https://shimo.im/
• Simplenote:https://simplenote.com/
• 语雀:https://www.yuque.com/
编程学习网:
• 哔哩哔哩:https://www.bilibili.com/
• C语言网:https://www.dotcpp.com/
• cppreference:http://zh.cppreference.com/
• 中国大学MOOC:https://www.icourse163.org/
• 牛客网:www.nowcoder.com
• 网易公开课:open.163.com
• CodeGym:https://codegym.cc/
• BeginnersBook:https://beginnersbook.com/
• JavaSED:http://www.javased.com/
• codecademy:https://www.codecademy.com/
• Coursera:https://www.coursera.org/
• StackOverFlow:https://stackoverflow.com/
• LeetCode:https://leetcode-cn.com/
• LintCode:https://www.lintcode.com/
在线教程文档:
这部分主要集中了在做开发过程中随手参考所要用到的几乎所有在线教程和官方文档,有中文版文档的基本都优先列出来了,但更多时候是英文的官方文档。
• Git中文教程:https://git-scm.com/book/zh/v2
• SVN中文手册:http://svnbook.red-bean.com/nightly/zh/index.html
• jQuery API中文文档:https://jquery.cuishifeng.cn/
• Nginx中文文档:https://www.nginx.cn/doc/index.html
• Kafka中文文档:https://kafka.apachecn.org/
• Mybatis中文文档:https://mybatis.org/mybatis-3/zh/index.html
• 微信小程序官方文档:https://developers.weixin.qq.com/miniprogram/dev/framework/
• Nodejs中文教程文档:http://nodejs.cn/learn
• Apache Web Server文档:http://httpd.apache.org/docs/
• Spring文档中文版:https://www.springcloud.cc/spring-reference.html
• Golang标准库文档中文版:https://studygolang.com/pkgdoc
• Java 8官方文档:https://docs.oracle.com/javase/8/docs/api/index.html
• Maven官方文档:http://maven.apache.org/guides/
• Tomcat 8官方文档:http://tomcat.apache.org/tomcat-8.0-doc/index.html
• Spring Boot官方文档:https://docs.spring.io/spring-boot/docs/current/reference/htmlsingle/
• RabbitMQ官方文档:https://www.rabbitmq.com/documentation.html
• RocketMQ官方文档:http://rocketmq.apache.org/docs/quick-start/
• Dubbo中文文档:https://dubbo.apache.org/zh/docs/
• Netty官方文档:https://netty.io/wiki/index.html
• Elasticsearch官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html
• Spring Cloud官方文档:https://spring.io/projects/spring-cloud
• Docker官方文档:https://docs.docker.com/get-started/
• kubernetes中文文档:https://kubernetes.io/zh/docs/home/
• thymeleaf官方文档:https://www.thymeleaf.org/documentation.html
• Vue.js中文文档:https://cn.vuejs.org/v2/guide/
• React.js官方文档:https://reactjs.org/docs/getting-started.html
• Jenkins中文文档:https://www.jenkins.io/zh/doc/
华为云平台:
高效易用的低代码aPaaS平台-应用魔方AppCube:https://www.huaweicloud.com/product/appcube.html集华为研发实践、前沿研发理念、先进研发工具为一体的软件开发平台-软件开发平台 DevCloud:https://www.huaweicloud.com/devcloud/以上内容分享自华为云社区《吐血整理:程序员都在用什么工具?》,作者: 考过IE励志当攻城狮 ,部分内容整理自互联网~
7. 地铁跑酷地图切换工具怎么制取?
要制作地铁跑酷地图切换工具,可以考虑以下几个步骤:
1. 确定所需地图及其数据来源,例如从自然实景中获取或建立地形模型库等。2. 进行地图开发和建模,通过一定的软件工具,建立合适的地铁跑酷运动区域和场景,包括障碍物、飞跃点、特殊效果等,以满足玩家的游戏需求。3. 根据用户的选择和需求,编制地图切换算法和实现方式,例如根据不同的游戏等级和难度,自动切换地图,或者手动选择需要切换的地图等方式。4. 处理好地图的质量和稳定性,以保证玩家的游戏体验和数据安全性。5. 测试和优化地图切换工具,及时修复可能出现的问题和故障。可能需要借助一些专业工具和技术支持来进行操作和debug。
本站涵盖的内容、图片、视频等数据系网络收集,部分未能与原作者取得联系。若涉及版权问题,请联系我们删除!联系邮箱:ynstorm@foxmail.com 谢谢支持!